Pada 1989, beliau menyertai Parti Semangat 46 bersama Tengku Razaleigh Hamzah menentang arus kepimpinan UMNO. Semangat 46 pernah menjalin kerjasama rapat dengan PAS, dikenali sebagai Angkatan Perpaduan Ummah (APU). Jalinan ini dipanjangkan dengan DAP, PRM dan PBS dan dikenali sebagai Gagasan Rakyat.

Sebenarnya sebahagian dari Semangat 46 terdiri daripada Team B dalam UMNO yang menang pada pemilihan April 1987 lalu. Rombakan kabinet diadakan selepas pemilihan UMNO pada April 1987. Antara yang digugurkan ialah Tengku Razaleigh Hamzah (Menteri Perdagangan Antarabangsa dan Industri), Menteri Luar, Datuk Rais Yatim, Menteri Kemajuan Tanah dan Wilayah, Datuk Seri Adib Adam, Menteri Kebajikan, Datuk Shahrir Samad, Timbalan Menteri Dalam Negeri, Datuk Radzi Sheikh Ahmad, Timbalan Menteri Pengangkutan, Datin Paduka Rahmah Osman serta ramai lagi. Datuk Seri Mohamed Rahmat kembali dilantik semula ke Kementerian Penerangan.